3D Hand Pose with MediaPipe and TensorFlow.js — The TensorFlow Blog
#MediaPipe
3D Hand Pose with MediaPipe and TensorFlow.js — The TensorFlow Blog
previous tf.js handposeよりもmAPが上がったのはなぜ？
https://arxiv.org/abs/2111.00038
cross platform
performance
pc, androidではmediapipe > tfjs(webgl)
iosだけmediapipeが遅い
手元の12 proでは5fps vs 10fpsくらいだった
https://storage.googleapis.com/tfjs-models/demos/hand-pose-detection/index.html?model=mediapipe_hands
.tflite 5.5Mb
.wasm 6.2Mb
.binarypb
ConstantSidePacketCalculator
ConstantSidePacketCalculatorModelComplexity
GlScalerCalculator
HandLandmarkTrackingGpu
ApplicationThreadExecutor
input: 224x224x3
output
63
1
1
63
weightはquantizedだが計算はfpでやってるように見える。やたらdequantizeノードがある
main thread only
wasmの中でglReadPixels